Powerful generative models have led to recent progress in question generation (QG). However, it is difficult to measure advances in QG research since there are no standardized resources that allow a uniform comparison among approaches. In this paper, we introduce QG-Bench, a multilingual and multidomain benchmark for QG that unifies existing question answering datasets by converting them to a standard QG setting. It includes general-purpose datasets such as SQuAD for English, datasets from ten domains and two styles, as well as datasets in eight different languages. Using QG-Bench as a reference, we perform an extensive analysis of the capabilities of language models for the task. First, we propose robust QG baselines based on fine-tuning generative language models. Then, we complement automatic evaluation based on standard metrics with an extensive manual evaluation, which in turn sheds light on the difficulty of evaluating QG models. Finally, we analyse both the domain adaptability of these models as well as the effectiveness of multilingual models in languages other than English. QG-Bench is released along with the fine-tuned models presented in the paper https://github.com/asahi417/lm-question-generation, which are also available as a demo https://autoqg.net/.

社交媒体平台主持了有关每天出现的各种主题的讨论。理解所有内容并将其组织成类别是一项艰巨的任务。处理此问题的一种常见方法是依靠主题建模，但是使用此技术发现的主题很难解释，并且从语料库到语料库可能会有所不同。在本文中，我们提出了基于推文主题分类的新任务，并发布两个相关的数据集。鉴于涵盖社交媒体中最重要的讨论点的广泛主题，我们提供了最近时间段的培训和测试数据，可用于评估推文分类模型。此外，我们在任务上对当前的通用和领域特定语言模型进行定量评估和分析，这为任务的挑战和性质提供了更多见解。

在本文中，我们介绍了TweetNLP，这是社交媒体中自然语言处理（NLP）的集成平台。TweetNLP支持一套多样化的NLP任务，包括诸如情感分析和命名实体识别的通用重点领域，以及社交媒体特定的任务，例如表情符号预测和进攻性语言识别。特定于任务的系统由专门用于社交媒体文本的合理大小的基于变压器的语言模型（尤其是Twitter）提供动力，无需专用硬件或云服务即可运行。TweetNLP的主要贡献是：（1）使用适合社会领域的各种特定于任务的模型，用于支持社交媒体分析的现代工具包的集成python库；（2）使用我们的模型进行无编码实验的交互式在线演示；（3）涵盖各种典型社交媒体应用的教程。

数据增强技术广泛用于通过解决类别不平衡问题和数据稀疏性来增强机器学习模型的性能。已显示最先进的生成语言模型在不同的NLP任务中提供了显着的增益。但是，它们对几张拍摄设置中的文本分类任务的数据增强的适用性尚未完全探索，特别是对于专门域。在本文中，我们利用GPT-2（Radford A等，2019）来产生人工训练实例，以提高分类性能。我们的目的是分析种子训练示例的选择过程对GPT生成的样品的质量以及因此分类器性能的影响。我们使用几种种子选择策略进行实验，其中包括利用课程分层结构和域专家选择。我们的结果表明，少数标签实例中的微调GPT-2导致一致的分类改进和优于竞争性基线。最后，我们展示通过域专家选择指导这一过程可能会导致进一步的改进，这开辟了有趣的研究途径，用于结合生成模型和主动学习。

类比在人类常识推理中起着核心作用。识别类比诸如“眼睛是看到耳朵的声音”之类的类比的能力，有时也称为类比比例，塑造我们如何构建知识和理解语言。但是，令人惊讶的是，在语言模型时代，识别这种类比的任务尚未受到太多关注。在本文中，我们使用从教育环境以及更常用的数据集获得的基准分析了基于变压器的语言模型的功能。我们发现，现成的语言模型可以在一定程度上识别类比，但要与抽象和复杂的关系斗争，结果对模型架构和超参数高度敏感。总体而言，最佳结果是通过GPT-2和Roberta获得的，而使用BERT的配置无法超越单词嵌入模型。我们的结果为未来的工作提出了重要的问题，内容涉及如何以及在何种程度上培训的语言模型捕获有关抽象语义关系的知识。